Fusion de données hétérogènes pour la perception de l'homme par robot mobile

Ces travaux de thèse s'inscrivent dans le cadre du projet européen CommRob impliquant des partenaires académiques et industriels. Le but du projet est la conception d'un robot compagnon évoluant en milieu structuré, dynamique et fortement encombré par la présence d'autres agents partageant l'espace (autres robots, humains). Dans ce cadre, notre contribution porte plus spécifiquement sur la perception multimodale des usagers du robot (utilisateur et passants). La perception multimodale porte sur le développement et l'intégration de fonctions perceptuelles pour la détection, l'identification de personnes et l'analyse spatio-temporelle de leurs déplacements afin de communiquer avec le robot. La détection proximale des usagers du robot s'appuie sur une perception multimodale couplant des données hétérogènes issues de différents capteurs. Les humains détectés puis reconnus sont alors suivis dans le flot vidéo délivré par une caméra embarquée afin d'en interpréter leurs déplacements. Une première contribution réside dans la mise en place de fonctions de détection et d'identification de personnes depuis un robot mobile. Une deuxième contribution concerne l'analyse spatio-temporelle de ces percepts pour le suivi de l'utilisateur dans un premier temps, de l'ensemble des personnes situées aux alentours du robot dans un deuxième temps. Enfin, dans le sens des exigences de la robotique, la thèse comporte deux volets : un volet formel et algorithmique qui tire pertinence et validation d'un fort volet expérimental et intégratif. Ces développements s'appuient sur notre plateforme Rackham et celle mise en œuvre durant le projet CommRob.This work has been realized under the CommRob European project involving several academic and industrial partners. The goal of this project is to build a robot companion able to act in structured and dynamic environments cluttered by other agents (robots and humans). In this context, our contribution is related to multimodal perception of humans from the robot (users and passers-by). The multimodal perception induces the development and integration of perceptual functions able to detect, to identify the people and to track the motions in order to communicate with the robot. Proximal detection of the robot's users uses a multimodal perception framework based on heterogeneous data fusion from different sensors. The detected and identified users are then tracked in the video stream extracted from the embedded camera in order to interpret the human motions. The first contribution is related to the definition of perceptual functions for detecting and identifying humans from a mobile robot. The second contribution concerns the spatio-temporal analysis of these percepts for user tracking. Then, this work is extended to multi-target tracking dedicated to the passers by. Finally, as it is frequently done in robotics, our work contains two main topics: on one hand the approaches are formalized; on the other hand, these approaches are integrated and validated through live experiments. All the developments done during this thesis has been integrated on our platform Rackham and on the CommRob platform too

Towards an Interactive Humanoid Companion with Visual Tracking Modalities

The idea of robots acting as human companions is not a particularly new or original one. Since the notion of “robot ” was created, the idea of robots replacing humans in dangerous, dirty and dull activities has been inseparably tied with the fantasy of human-like robots being friends and existing side by side with humans. In 1989, Engelberger (Engelberger

Corob-x: a cooperative robot team for the exploration of lunar skylights

The project CoRob-X develops and demonstrates enabling technologies for multi-agent robotic teams to explore planetary surfaces with a focus on hard-to-reach areas where a collaborative scheme is required to efficiently explore complex environments. Exploring lava tubes is such a challenging environment and requires a team of robots able to collaborate in an autonomous way to find their way to the subsurface tube system, descend through a natural entry hole (the so-called skylight), and explore the interior with payload instruments to provide scientific data. The developed robotic exploration system that will tackle the ambitious goal is composed of three rovers with substantially different technical characteristics. The paper presents the overall approach, i.e., the control architecture, the robotic systems, and the software to be used. It also showcases the selected mission phases that will be demonstrated in a field-test campaign. In addition, a terrestrial mining use case is presented that demonstrates how the developed autonomy-enabling software can be transferred to terrestrial applications.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

PULSAR: Testing the Technologies for On-Orbit Assembly of a Large Telescope

The EU project PULSAR (Prototype of an Ultra Large Structure Assembly Robot) carried out a feasibility analysis for a potential mission that could demonstrate robotic technology for autonomous assembly of a large space telescope. The project performed the analysis using two hardware demonstrators, one devoted to show the assembly of five segmented mirror tiles using a robotic manipulator, and another one showing extended mobility for assembling a large structure in low gravity conditions. The hardware demonstrators were complemented with a simulation analysis to demonstrate the operation of a fully integrated system and to address the challenges especially in the field of attitude and orbital control. The techniques developed in the project support the path toward In-Space Servicing, Assembly and Manufacturing (ISAM)

Fusion de données hétérogènes pour la perception de l'homme par un robot mobile

This work has been realized under the CommRob european project involving several academic and industrial partners. The goal of this project is to build a robot companion able to act in structured and dynamic environments cluttered by other agents (robots and humans). In this context, our contribution is related to multimodal perception of humans from the robot (users and passers-by). The multimodal perception induce the development and integration of perceptual functions able to detect, to identify the people and to track the motions in order to communicate with the robot. Proximal detection of the robot's users uses a multimodal perception framework based on heterogeneous data fusion from different sensors. The detected and identified users are then tracked in the video stream extracted from the embedded camera in order to interpret the human motions. The first contribution is related to the definition of perceptual functions for detecting and identifying humans from a mobile robot. The second contribution concerns the spatio-temporal analysis of these percepts for user tracking. Then, this work is extended to multi-target tracking dedicated to the passers by. Finally, as it is frequently done in robotics, our work contains two main topics : on one hand the approaches are formalized; on the other hand, these approaches are integrated and validated through live experiments. All the developments done during this thesis has been integrated on our platform Rackham and on the CommRob platform too.Ces travaux de thèse s'inscrivent dans le cadre du projet européen CommRob impliquant des partenaires académiques et industriels. Le but du projet est la conception d'un robot compagnon évoluant en milieu structuré, dynamique et fortement encombré par la présence d'autres agents partageant l'espace (autres robots, humains). Dans ce cadre, notre contribution porte plus spécifiquement sur la perception multimodale des usagers du robot (utilisateur et passants). La perception multimodale porte sur le développement et l'intégration de fonctions perceptuelles pour la détection, l'identification de personnes et l'analyse spatio-temporelle de leurs déplacements afin de communiquer avec le robot. La détection proximale des usagers du robot s'appuie sur une perception multimodale couplant des données hétérogènes issues de différents capteurs. Les humains détectés puis reconnus sont alors suivis dans le flot vidéo délivré par une caméra embarquée afin d'en interpréter leurs déplacements. Une première contribution réside dans la mise en place de fonctions de détection et d'identification de personnes depuis un robot mobile. Une deuxième contribution concerne l'analyse spatio-temporelle de ces percepts pour le suivi de l'utilisateur dans un premier temps, de l'ensemble des personnes situées aux alentours du robot dans un deuxième temps. Enfin, dans le sens des exigences de la robotique, la thèse comporte deux volets : un volet formel et algorithmique qui tire pertinence et validation d'un fort volet expérimental et intégratif. Ces développements s'appuient sur notre plateforme Rackham et celle mise en oeuvre durant le projet CommRob

Data fusion and eigenface based tracking dedicated to a Tour-Guide Robot

This article presents a key-scenario of H/R interaction for our tour-guide robot. Given this scenario, three visual modalities, the robot deals with, have been outlined, namely the "search of visitors" attending the exhibition, the "proximal interaction" through the robot interface and the "guidance mission". The paper focuses on the two last ones which involves face recognition and visual data fusion in a particle filtering framework. Evaluations on key-sequences in a human centred environment show the tracker robustness to background clutter, sporadic occlusions and group of persons. The tracker is able to cope with target loss by detecting and re-initializing automatically thanks to the face recognition outcome. Moreover, the multi-cues association proved to be more robust to clutter than any of the cues individually

Data fusion and eigenface based tracking dedicated to a Tour-Guide Robot

This article presents a key-scenario of H/R interaction for our tour-guide robot. Given this scenario, three visual modalities, the robot deals with, have been outlined, namely the "search of visitors" attending the exhibition, the "proximal interaction" through the robot interface and the "guidance mission". The paper focuses on the two last ones which involves face recognition and visual data fusion in a particle filtering framework. Evaluations on key-sequences in a human centred environment show the tracker robustness to background clutter, sporadic occlusions and group of persons. The tracker is able to cope with target loss by detecting and re-initializing automatically thanks to the face recognition outcome. Moreover, the multi-cues association proved to be more robust to clutter than any of the cues individually

ROS : une solution middleware adaptée pour l'industrie du futur ?

International audienceDepuis 6 ans, le pôle S-MART Occitanie a fait le choix d’utiliser le middleware Robot Operating System (ROS) pour intégrer les équipements de sa plateforme robotique et pour former les étudiants des diverses formations aux diverses facettes de la robotique. Cet article relate cette expérience et, au-delà,s’interroge sur le potentiel de ROS en tant que solution open-source pour l’accélération de la transition vers l’industrie du futu

ROS : une solution middleware adaptée pour l'industrie du futur ?

International audienceDepuis 6 ans, le pôle S-MART Occitanie a fait le choix d’utiliser le middleware Robot Operating System (ROS) pour intégrer les équipements de sa plateforme robotique et pour former les étudiants des diverses formations aux diverses facettes de la robotique. Cet article relate cette expérience et, au-delà,s’interroge sur le potentiel de ROS en tant que solution open-source pour l’accélération de la transition vers l’industrie du futu